TRAPSBench: Vision-Language Models Encode but Fail to Express Epistemic Restraint
TRAPSBench：视觉语言模型编码了认知克制却无法表达
🧭 多模态 VLM 视觉不确定性下的克制与评估
Meta Superintelligence Labs
VLM 内部能识别证据不足但输出不克制；提出 TRAPSBench 和 PECS，定位表达瓶颈
📌 工作参考价值（4 点）
- 在电商/广告的视觉智能体（商品图审核、直播切片理解、图文问答）中，模型对图像遮挡/模糊常过度自信；不要只靠 prompt 或 logit 置信度，可在 hidden states 上训轻量 probe 识别“不可判定”，作为路由/兜底信号。
- 评估不能只看准确率：可借鉴 PECS 构造 matched pairs（同一 case 只改一个关键帧/遮挡物/文字），要求可判定时答对、不可判定时弃权；在线上可把拒答率与人工差评率、客诉率挂钩。
- 文本不确定性比视觉不确定性更易被识别；若 Agent 含多模态输入，视觉分支应单独做 epistemic gate，避免文本线索足够时掩盖视觉证据缺失。
- 工程化干预放在 output stage 更划算（单层 steering / refusal head / adapter），因为模型内部已有可解码的答案性信息，无需从头训练大模型；这对搜索推荐中的多模态生成式模型做安全拒答也可复用。